#ограничения спектральной нормы23.04.2025
Оптимизатор Muon от Microsoft значительно ускоряет гроккинг в трансформерах
Исследователи Microsoft показали, что оптимизатор Muon существенно ускоряет гроккинг в моделях трансформеров, обеспечивая более быстрый переход от запоминания к обобщению по сравнению с AdamW.